Bitmap based algorithms for mining association rules

Discovery of association rules is an important problem in Data Mining. The classical approach is to generate all itemsets that have support (i.e., the fraction of transactions containing the itemset) above a user given threshold. Most existing algorithms aim at reducing the number of scans over the transaction database, i.e., the I/O overhead. We consider the problem of how to calculate efficiently the support, i.e., we try to optimize both I/O and CPU time. A straightforward way is to maintain, for each itemset, the relevant transaction identifiers directly into a list and use a sort-merge algorithm to do the intersection of two itemsets. Instead, we propose bitmap based algorithms. The basic idea is that every couple is represented by a bit in an index bitmap, and the logical operation AND is used in place of the sort-merge algorithm. We propose two variations of the bitmap based algorithm : the naïve bitmap algorithm (N-BM) and the hierarchical bitmap algorithm (H-BM). We then compare these two novel algorithms with the classical list based algorithm. Our experimental and analytical results demonstrate that the H-BM algorithm can outperform other algorithms by a factor of an order of magnitude. Furthermore, it is less memory demanding and can efficiently exploit existing bitmap index. Finally, we sketch parallel versions of the bitmap algorithms that are very efficient for VLDBs. keywords : data mining, association rules, bitmap Résumé : La découverte de règles associatives est un problème majeur dans le domaine du Data Mining. L'objectif est de déterminer tous les ensembles d'articles dont le support (c.à.d., la fraction de transactions qui contiennent cet ensemble) est supérieur à un seuil fixé. Alors que la plupart des algorithmes se concentrent sur la réduction du nombre de balayages de la base de données (c.à.d., le coût en E/S), nous proposons une méthode de calcul des supports qui optimise le coût CPU, sans générer d'E/S supplémentaire. Intuitivement, l'idée repose sur la construction d'un index binaire (bitmap) dans lequel chaque couple est representé par un bit. Le support d'un ensemble d'articles (A1, A2, ..., Ak) se calcule en appliquant l'opérateur logique AND à l'ensemble des colonnes concernées dans l'index. Nous proposons deux variantes de l'algorithme bitmap : l'algorithme naïf (N-BM) et l'algorithme hiérarchique (H-BM) mieux adapté à des index binaires creux. Une évaluation analytique et des résultats expérimentaux montrent que H-BM peut apporter un gain de performance d'un ordre de magnitude par rapport à N-BM ainsi que par rapport aux algorithmes traditionnels d'intersection de listes d'identifiants de transactions. De plus, nous montrons que H-BM est peu consommateur de mémoire centrale et peut facilement être parallélisé. mots-clés : data mining, règles associatives, bitmap